Phong Đức Di sinh vào năm 568, ông là cháu nội của Phong Long Chi (封隆之), người giữ chức Thái bảo trong triều Bắc Tề. Còn cha ông, Phong Tử Tú (封子繡), là Thứ sử Hoắc Châu triều Bắc Chu. Cha ông bị võ tướng nhà Trần là Ngô Minh Triệt bắt sống trong một trận chiến vào khoảng năm 573 lúc quân của Ngô Minh Triệt đang thực hiện chiến dịch tấn công vào lãnh thổ của Bắc Tề. Sau khi Bắc Chu tiêu diệt Bắc Tề vào năm 577, Phong Tử Tú tẩu thoát lên phía bắc được Tùy Văn Đế phong làm Thứ sử, lúc này Tùy Văn Đế đã soán ngôi của triều Bắc Chu và triều Tùy đã được kiến lập ở miền bắc vào năm 581. Mẹ của Phong Đức Di là Lư thị, là em gái của Lư Tư Đạo, giữ chức Thái thú Vũ Dương. Thời Phong Đức Di còn niên thiếu, Lư Tu Đạo mỗi lần đề cập đến Đức Di thường nói rằng: "Đứa trẻ này thông minh hơn người, sau này tất làm đến khanh tướng."